empty (pour или throw) the baby out (или away) with the bath(-water)

We shall... empty the baby out with the bath by abolishing an institution which needs nothing more than a little rationalizing to make it... useful. (B. Shaw, ‘Getting Married’, ‘Preface’) — Мы... вместе с водой выплеснем и ребенка, если отменим институт брака, а он весьма полезен, надо лишь несколько улучшить его.